Ma trận có một lịch sử dài về ứng dụng trong giải các phương trình tuyến tính nhưng chúng được biết đến là các mảng cho tới tận những năm 1800. Cuốn sách Cửu chương toán thuật viết vào khoảng năm 152 TCN đưa ra phương trận để giải hệ năm phương trình tuyến tính,[8] bao gồm khái niệm về định thức. Năm 1545 nhà toán học người Ý Girolamo Cardano giới thiệu phương pháp giải này vào châu Âu khi ông công bố quyển Ars Magna.[9] Nhà toán học Nhật Bản Seki đã sử dụng phương pháp mảng này để giải hệ phương trình vào năm 1683.[10] Nhà toán học Hà Lan Jan de Witt lần đầu tiên biểu diễn các biến đổi dưới dạng ma trận mảng trong cuốn sách viết năm 1659 Elements of Curves (1659).[11] Giữa các năm 1700 và 1710 Gottfried Wilhelm Leibniz công bố phương pháp sử dụng các mảng để ghi lại thông tin hay tìm nghiệm và nghiên cứu trên 50 loại ma trận khác nhau.[9] Cramer đưa ra quy tắc của ông vào năm 1750.

Thuật ngữ trong tiếng Anh "matrix" (tiếng Latin là "womb", dẫn xuất từ mater—mẹ[12]) do James Joseph Sylvester nêu ra vào năm 1850,[13] khi ông nhận ra rằng ma trận là một đối tượng làm xuất hiện một số định thức mà ngày nay gọi là phần phụ đại số, tức là định thức của những ma trận nhỏ hơn thu được từ ma trận ban đầu bằng cách xóa đi các hàng và các cột. Trong một bài báo năm 1851, Sylvester giải thích:

Tôi đã định nghĩa trong bài báo trước về "Ma trận" là một mảng chữ nhật chứa các phần tử, mà những định thức khác nhau có thể đưa ra định thức của ma trận mẹ.[14]

Arthur Cayley đăng một chuyên luận về các phép biến đổi hình học sử dụng ma trận ngoài những phép biến đổi quay đã được khảo sát trước đó. Thay vào đó, ông định nghĩa các phép toán như cộng, trừ, nhân và chia những ma trận này và chứng tỏ các quy tắc kết hợp và phân phối vẫn được thỏa mãn. Cayley đã nghiên cứu và minh chứng tính chất không giao hoán của phép nhân ma trận cũng như tính giao hoán của phép cộng ma trận.[9] Lý thuyết ma trận sơ khai bị giới hạn ở cách sử dụng các mảng và tính định thức và các phép toán ma trận trừu tượng của Arthur Cayley đã làm nên cuộc cách mạng cho lý thuyết này. Ông áp dụng khái niệm ma trận cho hệ phương trình tuyến tính độc lập. Năm 1858 Cayley công bố Hồi ký về lý thuyết ma trận[15][16] trong đó ông nêu ra và chứng minh định lý Cayley-Hamilton.[9]

Nhà toán học người Anh Cullis là người đầu tiên sử dụng ký hiệu ngoặc hiện đại cho ma trận vào năm 1913 và ông cũng viết ra ký hiệu quan trọng A = [ai,j] để biểu diễn một ma trận với ai,j là phần tử ở hàng thứ i và cột thứ j.[9]

Quá trình nghiên cứu định thức xuất phát từ một số nguồn khác nhau.[17] Các bài toán số học dẫn Gauss đi tới liên hệ các hệ số của dạng toàn phương, những đa thức có dạng x2 + xy − 2y2, và ánh xạ tuyến tính trong không gian ba chiều với ma trận. Eisenstein đã phát triển xa hơn các khái niệm này, với nhận xét theo cách phát biểu hiện đại rằng tích ma trận là không giao hoán. Cauchy là người đầu tiên chứng minh những mệnh đề tổng quát về định thức, khi ông sử dụng định nghĩa như sau về định thức của ma trận A = [ai,j]: thay thế lũy thừa ajk bằng ajk trong đa thức

a 1 a 2 ⋯ a n ∏ i < j ( a j − a i ) {\displaystyle a_{1}a_{2}\cdots a_{n}\prod _{i<j}(a_{j}-a_{i})\;} ,

với Π ký hiệu tích các hệ số đứng đằng sau. Ông cũng chứng tỏ vào năm 1829 rằng giá trị riêng của các ma trận đối xứng là thực.[18] Jacobi nghiên cứu "định thức hàm"—mà về sau trở thành định thức Jacobi như cách gọi của Sylvester—nó được ứng dụng để nghiên cứu các biến đổi hình học ở mức cục bộ (hay vô cùng bé); bài báo Vorlesungen über die Theorie der Determinanten của Kronecker [19] và Zur Determinantentheorie của Weierstrass,[20] cả hai đều được công bố vào năm 1903, lần đầu tiên đã coi định thức theo cách tiên đề hóa, ngược lại so với cách tiếp cận cụ thể ở những lần trước đó như trong công thức của Cauchy.

Nhiều định lý ban đầu chỉ phát biểu cho các ma trận nhỏ, ví như định lý Cayley–Hamilton được chứng minh cho ma trận 2×2 như Cayley chỉ ra trong luận án của mình, và bởi Hamilton cho ma trận 4×4. Frobenius, dựa trên các dạng song tuyến tính, đã tổng quát định lý sang mọi kích thước (1898). Cũng vào cuối thế kỷ 19 phương pháp khủ Gauss–Jordan (tổng quát hóa cho trường hợp đặc biệt đó là phép khử Gauss) do nhà trắc địa Wilhelm Jordan nêu ra. Trong đầu thế kỷ 20, ma trận đã đạt tới vai trò trung tâm trong đại số tuyến tính,[21] một phần nhờ ứng dụng của nó trong phân loại hệ thống số siêu phức trong thế kỷ trước.

Sự khởi đầu của cơ học ma trận do các nhà vật lý Heisenberg, Born và Jordan nêu ra đã dẫn tới nghiên cứu về ma trận có vô hạn hàng và cột.[22] Later, von Neumann đã thiết lập lên phát biểu toán học của cơ học lượng tử, bằng cách phát triển xa hơn các khái niệm của giải tích hàm như toán tử tuyến tính trong không gian Hilbert, mà, nói sơ lược, tương ứng với không gian Euclide, nhưng có vô hạn hướng độc lập.